有希望的互补性存在着颜色图像的纹理特征和激光点云的几何信息。但是，在3D对象检测领域中，仍然存在许多挑战，以实现高效且可靠的特征融合。在本文中，首先，在2D平面中填充了非结构化的3D点云，并且使用投影感知的卷积层更快地提取3D点云特征。此外，在数据预处理中提前建立了不同传感器信号之间的相应索引，从而实现更快的交叉模式融合。为了解决LIDAR点和图像像素的未对准问题，提出了两个新的插件融合模块，即licamfuse和bilicamfuse。在Licamfuse中，提出了带有双峰特征的欧几里得距离的软查询权重。在Bilicamfuse中，提出了双重注意的融合模块，以深层关联场景的几何和纹理特征。 KITTI数据集上的定量结果表明，所提出的方法可以实现更好的特征级融合。此外，与现有方法相比，建议的网络显示出更短的运行时间。

常规的多视图聚类试图基于所有观点的假设，以完全观察到所有观点的假设。但是，在诸如疾病诊断，多媒体分析和建议系统之类的实际应用中，常见的是，在许多情况下，并非所有样品的观点都可以使用，这导致常规多视图聚类方法的失败。在此不完整的多视图数据上的聚类称为不完整的多视图聚类。鉴于有前途的应用前景，近年来对不完整的多视图聚类的研究取得了明显的进步。但是，没有调查可以总结当前的进展并指出未来的研究方向。为此，我们回顾了最新的关于多视图聚类的研究。重要的是，我们提供一些框架来统一相应的不完整的多视图聚类方法，并从理论和实验角度对某些代表性方法进行深入的比较分析。最后，为研究人员提供了不完整的多视图聚类领域中的一些开放问题。

感谢您的跨模式检索技术，通过将它们投射到一个共同的空间中，可以在24小时的监视系统中重新进行重新识别，从而实现了可见的信号（RGB-IR）重新识别（RE-ID）。但是，关于探测到探测器，几乎所有现有的基于RGB-IR的跨模式人RE-ID方法都集中在图像到图像匹配上，而视频对视频匹配包含更丰富的空间 - 和时间信息仍未探索。在本文中，我们主要研究基于视频的跨模式人Re-ID方法。为了实现这项任务，构建了一个基于视频的RGB-IR数据集，其中927个有效身份，具有463,259帧和21,863个曲目，由12个RGB/IR摄像机捕获。基于我们构造的数据集，我们证明，随着曲目中帧的增加，该性能确实达到了更多的增强功能，证明了视频对视频匹配在RGB-IR RE-ID中的重要性。此外，进一步提出了一种新颖的方法，不仅将两种模态投射到模态不变子空间，而且还提取了运动不变的时间记忆。多亏了这两种策略，我们基于视频的跨模式人重新ID取得了更好的结果。代码和数据集以：https：//github.com/vcmproject233/mitml发布。

我们建议探索一个称为视听分割（AVS）的新问题，其中的目标是输出在图像帧时产生声音的对象的像素级映射。为了促进这项研究，我们构建了第一个视频分割基准（AVSBENCH），为声音视频中的声音对象提供像素的注释。使用此基准测试了两个设置：1）具有单个声源的半监督音频分割和2）完全监督的音频段段，并带有多个声源。为了解决AVS问题，我们提出了一种新颖的方法，该方法使用时间像素的视听相互作用模块注入音频语义作为视觉分割过程的指导。我们还设计正规化损失，以鼓励训练期间的视听映射。 AVSBench上的定量和定性实验将我们的方法与相关任务中的几种现有方法进行了比较，这表明所提出的方法有望在音频和像素视觉语义之间建立桥梁。代码可从https://github.com/opennlplab/avsbench获得。

虽然昼夜投影（ERP）是存储全向图像（也称为360度图像）的方便形式，但它既不是等区别也不是共形的，因此与随后的视觉通信不友好。在图像压缩的背景下，ERP将过度采样和变形和靠近杆子的东西，使得感知上最佳的比特分配难以实现。在传统的360度图像压缩中，引入了诸如区域明智的包装和平铺表示的技术以减轻过采样问题，实现有限的成功。在本文中，我们首次尝试学习用于全向图像压缩的深度神经网络之一。我们首先描述参数伪压花表示作为常见的伪变性地图突起的概括。提出了一种计算上易贪婪的方法，以确定关于速率失真性能的新型代理目标的假阴压表示的（子） - 优化配置。然后，我们提出了假阴压卷曲的360度图像压缩。在参数表示的合理约束下，可以通过标准卷积与所谓的假阴压填充有效地实现假阴压卷积。为了展示我们想法的可行性，我们实现了一个端到端的360度图像压缩系统，由学习的假阴短表示，分析变换，非均匀量化器，合成变换和熵模型组成。实验结果为19,790美元$ 9,790 $全向图像表明，我们的方法始终如一的比竞争方法达到更好的速率失真性能。此外，对于所有比特率的所有图像，我们的方法的视觉质量显着提高。

虽然变压器在各种高级视觉任务中取得了显着性能，但它仍然具有挑战性地利用变压器在图像恢复中的全部潜力。 CRUX在典型的编码器 - 解码器框架中应用了有限的应用变压器，用于图像恢复，从层次的不同深度（尺度）的繁重的自我关注计算负荷和低效通信产生。在本文中，我们为图像恢复提供了一种深度和有效的变换器网络，称为U2-iner，能够使用变压器作为核心操作以在深度编码和解码空间中执行图像恢复。具体地，它利用嵌套的U形结构来促进不同层的不同层的相互作用。此外，我们通过引入要压缩令牌表示的特征过滤机制来优化基本变压器块的计算效率。除了典型的图像恢复方式外，我们的U2-ider还在多个方面进行对比学习，以进一步与背景图像分离噪声分量。对各种图像恢复任务的广泛实验，分别包括反射去除，雨串去除和除去，证明了所提出的U2-inter的有效性。

双峰掌纹识别同时利用掌纹和棕榈静脉图像，通过多模型信息融合来实现高精度，并具有强烈​​的防伪性能。在识别管道中，掌心的检测和感兴趣区域（ROI）的对准是用于准确匹配的两个关键步骤。大多数现有方法通过关键点检测算法本地化Palm RoI，但是关键点检测任务的内在困难使结果不令人满意。此外，图像级的ROI对齐和融合算法没有完全调查。桥梁桥梁，在本文中，我们提出了专注于ROI本地化，对齐和双峰图像Fusion.bpfnet的双峰掌纹融合网络（BPFNET）.bpfnet是一个包含两个子网的端到端框架：检测网络基于边界框预测直接回归PalmPrint ROIS，并通过翻译估计进行对准。在下游，双模融合网络实现双峰ROI图像融合利用新颖的提出的跨模型选择方案。为了显示BPFNET的有效性，我们对大规模无尺寸的掌纹数据集CUHKSZ-V1和同济进行实验，并且该方法实现了最先进的表演。

随着对手工卫生的需求不断增长和使用的便利性，掌上识别最近具有淡淡的发展，为人识别提供了有效的解决方案。尽管已经致力于该地区的许多努力，但仍然不确定无接触棕榈污染的辨别能力，特别是对于大规模数据集。为了解决问题，在本文中，我们构建了一个大型无尺寸的棕榈纹数据集，其中包含了来自1167人的2334个棕榈手机。为了我们的最佳知识，它是有史以来最大的非接触式手掌形象基准，而是关于个人和棕榈树的数量收集。此外，我们提出了一个名为3DCPN（3D卷积棕榈识别网络）的无棕榈识别的新型深度学习框架，它利用3D卷积来动态地集成多个Gabor功能。在3DCPN中，嵌入到第一层中的新颖变体以增强曲线特征提取。通过精心设计的集合方案，然后将低级别的3D功能卷积以提取高级功能。最后在顶部，我们设置了基于地区的损失功能，以加强全局和本地描述符的辨别能力。为了展示我们方法的优越性，在我们的数据集和其他流行数据库同济和IITD上进行了广泛的实验，其中结果显示了所提出的3DCPN实现最先进的或可比性的性能。

A recent study has shown a phenomenon called neural collapse in that the within-class means of features and the classifier weight vectors converge to the vertices of a simplex equiangular tight frame at the terminal phase of training for classification. In this paper, we explore the corresponding structures of the last-layer feature centers and classifiers in semantic segmentation. Based on our empirical and theoretical analysis, we point out that semantic segmentation naturally brings contextual correlation and imbalanced distribution among classes, which breaks the equiangular and maximally separated structure of neural collapse for both feature centers and classifiers. However, such a symmetric structure is beneficial to discrimination for the minor classes. To preserve these advantages, we introduce a regularizer on feature centers to encourage the network to learn features closer to the appealing structure in imbalanced semantic segmentation. Experimental results show that our method can bring significant improvements on both 2D and 3D semantic segmentation benchmarks. Moreover, our method ranks 1st and sets a new record (+6.8% mIoU) on the ScanNet200 test leaderboard. Code will be available at https://github.com/dvlab-research/Imbalanced-Learning.

Weakly-supervised object localization aims to indicate the category as well as the scope of an object in an image given only the image-level labels. Most of the existing works are based on Class Activation Mapping (CAM) and endeavor to enlarge the discriminative area inside the activation map to perceive the whole object, yet ignore the co-occurrence confounder of the object and context (e.g., fish and water), which makes the model inspection hard to distinguish object boundaries. Besides, the use of CAM also brings a dilemma problem that the classification and localization always suffer from a performance gap and can not reach their highest accuracy simultaneously. In this paper, we propose a casual knowledge distillation method, dubbed KD-CI-CAM, to address these two under-explored issues in one go. More specifically, we tackle the co-occurrence context confounder problem via causal intervention (CI), which explores the causalities among image features, contexts, and categories to eliminate the biased object-context entanglement in the class activation maps. Based on the de-biased object feature, we additionally propose a multi-teacher causal distillation framework to balance the absorption of classification knowledge and localization knowledge during model training. Extensive experiments on several benchmarks demonstrate the effectiveness of KD-CI-CAM in learning clear object boundaries from confounding contexts and addressing the dilemma problem between classification and localization performance.